#online learning

5 篇

MARGIN: Runtime Confidence Calibration for Multi-Agent Foundation Model Coordination

MARGIN：多Agent基础模型协调的运行时置信度校准

🧭 多Agent置信度在线校准

Ericsson

提出 MARGIN，通过运行时增量归一化按置信度分段学习模型特定校准，无需重训或留出校准集，提升多Agent决策准确率

📌 工作参考价值（4 点）

多模型投票/加权融合场景（如多个LLM生成推荐理由、多路召回结果合并）可用 MARGIN 的思路：按置信度分桶跟踪近期准确率与声称置信度的比值，用比值修正该桶的置信度，稀疏桶向模型级估计收缩，避免单个桶样本过少导致校准不稳定。
适用于需要在线适应 workload 变化的系统：无需重训模型或留出固定校准集，只需在每次获得正确性反馈后更新对应置信度桶的统计量，适合电商/广告中持续流入标注数据的场景。
工程实现上，可维护滑动窗口或指数衰减的准确率/置信度比率，对每个 responder 分别维护，用校正后的分数作为加权依据；冷启动时使用模型级估计作为先验，逐步过渡到分桶校准。
注意前提：必须能获得候选答案的正确性反馈（如用户点击、转化作为隐式反馈），否则该方法不可直接用；对于无反馈的推荐排序阶段，可考虑用代理指标替代。

MultiAgent | 2026-10-07 | HF Daily | score 7/10

有限反馈下面向 LLM 专家的在线路由学习

🧭 LLM 路由 · 在线 bandit 学习

Virginia Tech · Adobe Research

将多 LLM 路由建模为有限反馈 bandit，给出 full-info 与 bandit 设置下的次线性遗憾界及路由算法

📌 工作参考价值（4 点）

在电商搜索/推荐 Agent 链路中，多个 LLM 承担意图识别、query 改写、商品文案生成等任务时，可把路由建模为上下文 bandit：action 是候选 LLM，d 维特征直接复用现有 prompt/query embedding，reward 用点击率、转化率或人工审核通过率。
反馈预算 m 通常远小于流量 T；该文的 regret 界（full-info O(dT/√m)、bandit O(dT√(K/m))）说明只需对少量流量进行人工评估或用户反馈采集，就能保证学习效率，可据此设计稀疏反馈采集机制。
当候选模型能力/成本差异大且无全局最优时（文中 win rates 仅 0.073-0.319），动态路由比固定使用最强模型更优；上线前可先做离线 win rate 分析模型互补性，再用 bandit 路由做在线调优。
若业务已有较完整的反馈日志，可先采用 full-information 变体快速冷启动；后续切换 bandit 决策降低标注成本。

LLM | 2026-09-04 | HF Daily | score 7/10

语义数据处理系统中的组合在线学习

🧭 LLM 语义数据系统在线优化

Snowflake Inc.

在 LLM 调用边界组合多个在线学习组件，将训练更新隐藏在慢速 LLM 往返中，优化语义数据查询成本

📌 工作参考价值（4 点）

借鉴「LLM 往返延迟内做在线学习」：在电商搜索/推荐中，LLM 调用（如 query 理解、商品文案生成）占比高且慢，可以把轻量在线模型更新（如缓存命中率统计、过滤排序权重）藏在调用间隙，不增加额外延迟。
分层组件化优化：对应业务中的 memoization（query-LLM 结果缓存）、per-call 过滤排序（相似商品/评论筛选时先过滤掉明显不相关项）、cascade routing（简单请求走小模型/规则，复杂请求走大模型）。每个组件对应一个成本因子，可独立更新、组合叠加。
条件成本分解与乘法下界：优化 LLM pipeline 时，先按「每行 LLM 成本 = 调用次数 × 每次成本 × 选中行数」拆解，不同组件负责不同因子，组合后可获得乘性加速；实测从 11.4x 理论界降为 ~8x。
在线学习更新节奏分 per-call 和 per-batch：per-call 适合高频轻量参数（如排序分数），per-batch 适合阈值/路由策略，避免过拟合和样本预算浪费。

Other | 2026-08-27 | cs.AI | score 7/10

防御性 Boosting：在线概率预测的双重保证算法

🧭 在线 boosting 概率预测与校准

Defensive Booster 同时获得在线梯度 boosting 的 Brier 竞争保证与弱学习条件下的分类误差收敛保证

📌 工作参考价值（4 点）

在线广告 CTR/CVR 预测中可将其作为轻量在线集成/校准层：只维护一个弱学习器（如 FTRL 逻辑回归或浅层 MLP）做增量更新，不保存大型集成，同时获得与 span 最优线性组合竞争 Brier 的保证，适合高 QPS、低延迟场景。
在非平稳或可能被策略对抗影响的流量中，利用其 dual view：若预测误差持续升高，mistake weights 会形成弱学习条件失败的 hard-core 证书，可作为线上监控信号，触发模型重训、特征回补或人工排查。
强自适应变体可在任意时间区间提供局部保证，适合电商大促、突发流量等剧烈分布偏移时对近期区间单独做校准，不用等待全局历史数据积累。
若目标是“任意数据下不崩”和“有利条件下快速收敛”，可直接借鉴其目标设计：把 Brier 竞争和弱学习条件两个目标纳入同一在线更新，而不是单独使用在线梯度 boosting 或在线分类 boosting。

Training | 2026-08-13 | cs.LG | score 6/10

容量约束下为异构代理在线分配预测任务

🧭 Agent上下文任务分配与在线优化 ★ 深度解读

University of California, Irvine

提出在线上下文多臂赌博框架，在代理容量约束下动态学习其专长并路由任务，显著优于非上下文基线

📌 工作参考价值（4 点）

在电商客服/专家系统路由中，可以将不同技能的人工客服和AI客服视为异构代理，利用在线上下文学习（如用户意图、商品品类）分配任务，同时通过虚拟队列强制满足每个代理的工作量上限，防止过载。
在多LLM推荐生成场景中，各LLM对不同类目或用户群体的表现存在差异，可借鉴在线树模型估计上下文奖励，结合队列惩罚项（at = arg max(μ_a(x_t) - η Q_t,a)）实现轻量级路由，满足API调用容量限制。
工程实现上，贪婪策略在容量约束下已具有与汤普森采样相当的探索效果，可降低在线推理的复杂度；虚拟队列机制简单易集成，适合实时决策。
核心洞察：当代理的专长在上下文中互补时，联合策略可以超越单个最佳代理的边际性能，这是仅靠离线或非上下文路由无法捕获的，为“人机互补”或“多模型路由”提供了理论支撑。

Agent | 2026-05-27 | cs.HC | score 10/10